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摘 要 : 为 了 能 够 在 处 理 不 同 的 数据 类 型 或 任务 时 得 到 良好 的 结果 ， 设 计 了 基于 自 适应 假 近 邻 方 法 的 卷 积 神经 网 络 
(CNN) 架 构 。 将 中 心 给 的 思想 应 用 在 CNN 的 池 化 操作 中 ， 利 用 稀 足 滤波 算法 实现 训练 过 程 的 无 监督 化 ， 并 设置 CNN 
算法 的 卷 积 掩 模 ( 卷 积 核 ) 的 大 小 和 每 层 卷 积 单位 (CNN 神经 元 ) 的 数量 ; 此 外 ， 该 架构 还 利用 自 适应 假 近 邻 方法 实现 简 
化 建 模 和 预测 等 任务 。 实 验 结果 证 实 ， 提 出 的 改进 CNN 架构 的 复杂 度 较 低 ， 它 可 以 更 快 地 接受 训练 并 且 不 易 产生 过 
度 拟 合 。 
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Abstract: In order to obtain good results when dealing with different data types or tasks, this paper designed a convolutional 


neural network (CNN) architecture based on adaptive false nearest neighbors method. It applied the center moment to CNN 


pooling operation and it used sparse filtering algorithm to realize the unsupervised training process, and it also set the size of 


_ the convolution mask (convolution kernel) of the CNN algorithm and the unit of convolution (CNN neural) . In addition, the 


architecture also used adaptive false nearest neighbors method to simplify tasks such as modeling and prediction. Experimental 
results confirm that the improved CNN architecture is less complex and it can be trained faster and it is less prone to 
overfitting. 
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经 典 的 DL 算法 ， 它 能 够 从 音频 和 视频 等 时 间 相 关 的 数据 中 提 
取出 特定 的 特征 。 然而 ,，CNN 的 性 能 在 很 大 程度 上 取决 于 它 的 

深度 学 习 (deep learning，DI)D 算 法 已 成 为 分 析 海量 数据 各 体系 结构 ， 包 括 层 数 、 每 层 单位 和 卷 积 掩 模 大 小 。 而 且 ， 在 处 
主要 方法 ， 它 能 够 提取 有 意义 的 特征 ， 以 帮助 理解 和 解决 复杂 里 不 同 的 数据 类 型 或 任务 时 ， 适 用 于 特定 问题 的 体系 结构 可 能 
的 大 数据 处 理 问题 。DL 算法 在 多 个 层次 上 运行 ， 每 个 层次 不 通用 。 解 决 这 个 问题 的 常用 蔡 代 方 法 是 评估 不 同 的 CNN 
一 组 涉及 线性 和 非 线性 组 件 的 回归 模型 组 成 ， 多 种 模型 的 组 合 。 架构 ,以 选择 性 能 最 好 的 架构 。 这 样 的 过 程 显 然 具 有 许多 缺点 : 
使 复杂 功能 的 表示 成 为 可 能 。 大 多 数 DL 算法 类 似 于 人 工 神 经 a) 对 单个 架构 的 训练 和 评估 已 经 是 计算 密集 型 的 ， 因 此 对 许多 
网 络 ， 输 入 向 量 在 包含 操作 单元 的 连续 层 中 被 处 理 以 强调 或 抑 场景 的 总 体 评估 可 能 是 不 可 行 的 ，b) 由 经 验 定义 的 体系 结构 可 
制 特征 。 目 前 ，DL 算法 主要 应 用 在 数据 分 类 中、 图 像 识别 中 、 能 不 适合 所 考虑 的 问题 ， 因 此 可 能 无 法 获得 理想 的 结果 。 
机 器 翻译 外 等 方面 。 通常 ， 用 于 避免 评估 多 个 CNN 设置 的 策略 需要 考虑 额外 

卷 积 神经 网 络 (convolutional neural network, CNN) 人 I 是 一 种 ”的 训练 阶段 来 调整 与 卷 积 单元 相关 的 权重 。 这 也 增加 了 计算 负 
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担 ， 并 且 需 要 数 千 / 数 百 万 个 例子 才能 产生 合 


种 策 


名 是 使 用 


CNN 集合 ， 它 通常 允许 利 ) 


数 ， 但 需要 花费 更 多 的 体系 结构 来 获得 相关 结果 。 


应 上 


的 
入 和 输出 医 
数量 ， 


本 文 提 出 了 一 种 新 的 CNN 
在 CNN 的 池 化 操作 中 ， 利 
的 无 监督 化 。 
启发 ， 本 文 的 方法 分 析 了 每 个 
像 ， 以 估计 


体 


稀 琉 滤波 算法 实 


受 假 近邻 (False Nearest Neighbors ， 


| 卷 积 掩 模 的 适当 


CNN 层 的 卷 积 操 


并 利 朋 


1 ”相关 研究 


CNN 算法 被 广泛 应 用 在 分 类 问题 
模型 和 退出 策 
数 ， 它 将 卷 积 运算 x 的 结果 乘 以 一 个 对 角 权 重负 
有 差 向 量 b 相 加 。 
大 值 是 输出 ， 该 模型 的 错误 率 为 0.45%。 文 献 [9] 中 1 


据 表 达 式 z= 


各 来 改进 CNN 特 和 


日 自 适应 假 近邻 方法 实现 简 


里 


岗 


FNNJD 方 法 


作 


的 结果 中。 另 一 
最 大 数量 


的 迭代 次 


结构 。 它 将 中 心 矩 的 思想 


训练 过 程 


产生 的 输 


尺寸 和 每 层 卷 积 单元 的 
化 建 模 和 预测 等 任务 。 


Pp。 文献 [8] 使 用 Maxout 


EE 提取 。Maxout 是 一 个 激活 函 


与 一 个 1 


X7W +b 将 其 


日 
VE 


z 中 的 最 
出 了 具有 


两 级 特征 的 多 尺度 CNN(MS-CNN) 分 类 器 。 文 献 [10] 研 究 了 稀 


朴 网 络 (SNoW) 表 示 的 
库 (COIL-100) 的 物体 。SNoW 上 
对 象 分 类 到 特定 类 的 子 网 络 ， 
单元 。 文 献 [11] 中 提出 了 一 个 新 和 
间 花 费 的 时 间 ， 


大 | 


图 像 边缘 并 识别 来 自 


哥伦比亚 大 学 


图 像 


的 框架 ， 


使 用 反 卷 积 


网 


医 


工 


性 分 析 输 入 


最 后 ， 应 用 


| 
构 。 该 框架 为 参数 提供 了 一 个 范 
足够 的 准确 度 。 文 献 [12] 中 使 | 
学 习 (MENNDL)， 以 找到 最 佳 的 卷 积 掩 模 大 小 和 滤波 器 数量 。 
然而 ，MENNDL 和 所 有 


像 与 重建 图 像 之 间 


Nelder-Mead 方法 来 


络 来 


的 每 个 单元 都 代表 一 个 负责 将 
此 SNoW 包含 与 标签 一 样 多 的 
它 能 够 减少 在 训练 共 
F 估 训练 行为 。 采 用 
的 相似 度 ， 作 为 适应 度 函 


优化 适应 度 函 数 


韦 | ， 


为 分 析 的 数 


多 节点 进化 神 


PSO 方法 还 会 训 


找 
据 


到 最 佳 结 


集 提供 了 


经 网 络 进行 深度 


| 练 每 个 体系 结构 来 计 


算 适 应 度 函 数 ， 直 到 找到 一 个 好 的 参数 为 止 ， 这 无 疑 增 大 了 计 


算 


吨 
| 


各 种 演 


数 ， 以 便 计算 适应 度 


实验 中 多 种 ' 
系 结构 能 够 


2 


2.1 


化 方法 通 
/x 


青 况 下 表现 出 了 与 深度 网 络 类 似 的 性 能 。 


使 处 至 


成 本 更 低 ， 还 能 降低 过 度 拟 合 的 产生 。 


过 训练 CNN 架构 来 估计 CNN 的 最 佳 参 
函数 。 本 文 的 目标 是 获得 简单 的 CNN 
系 结构 来 执行 分 类 任务 ， 并 使 用 数据 集 进行 验证 。 本 文 方法 在 


简单 的 体 


基于 自 适 应 假 近邻 方法 的 卷 积 神经 网 络 架构 
卷 积 神经 网 络 


CNN 是 一 种 深度 学 习 算 法 ， 用 于 处 
位 、 缩 放 等 情况 下 也 可 以 提 


让 于 三 


让 本 


区 


等 多 维 数据 ， 即 使 在 存在 噪声 、 移 
取 相 关 特 征 数据 。CNN 是 一 个 多 层 网 络 ， 每 一 层 
类 型 操作 的 单元 组 成 ， 卷 积 被 用 来 识别 局 部 循环 特 


型 的 


CNN 体系 结构 


征 。 
有 以 下 顺序 : a) 第 一 层 代 表 输 入 


像 和 视频 


负责 不 同 


. ;信人 丰 
GhinaXiy 合 作 期 刊 ， 
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数据 并 有 


不 完成 任何 操作 (作为 验证 函数 工作 ); b) 第 二 层 负责 


用 激活 函数 计算 卷 积 操作 ;c) 第 三 


操作 进行 二 次 抽 


民 通 过 


口 


样 ;， 层 b) 和 c) 可 以 重复 ;dd) 最 后 一 层 产生 输出 特征 。 
方程 (1) 定 义 了 卷 积 运算 ， 其 中 ] 是 尺寸 为 qxp 的 二 维 输 
入 数据 (通常 为 输入 图 像 )，@ 是 尺寸 为 mxn 的 卷 积 掩 模 ( 或 
核 )， 并 且 # ,是 由 区 域 卷 积 产生 的 值 。 
dt Ti 团 
ee 
在 式 (1) 中 定义 的 卷 积 步 又 可 以 写成 一 个 mxn 维 空间 中 的 
点 积 。 令 十 ;=[1。; ，,…1j,…,1。,,] 是 对 应 于 7 的 局 部 区 
域 的 矢量 ， 令 百 =[6, ,,…,0，, ] 是 表示 卷 积 扼 模 的 向 量 ， 它 


是 通过 连接 @ 列 生成 的 。 本 文 假定 @ 中 元 素 的 索引 在 范 置 


xz= -112…,m12 和 y=-n/2,…,n/2 中 。 使 用 这 种 表示 法 ， 


式 (1) 可 表示 为 点 积 形式 .: 


从， = G5, 2 
本 文 假设 一 个 具有 1 个 单位 (或 神经 元 ) 的 卷 积 层 ， 其 中 每 
个 单位 对 应 一 个 mxn 卷 积 掩 模 @,，k =1,...,1。 使 用 先前 措 
述 的 向 量 表示 并 固定 7 的 局 部 区 域 郊 , ， 本 文 可 以 将 每 个 具有 
元 ,的 6, 的 卷 积 步 又 写 为 以 下 矩阵 向 量 积 ， 
6 | [gs, 
i G) 
6 你) 


换 名 话说 ， 卷 积 步骤 对 应 于 线性 变换 TG5 ) :了 月" 一 RR'， 


其 从 人 Rw 到 Ri 获取 向 量 。 


2.2 ”和 矩 池 化 


近年 来 ， 矩 特 行 


在 计算 机 视觉 、 模 式 识别 、 


图 像 分 类 等 方 


看 的 应 用 越 来 越 广泛 。 在 文献 [13] 中 ，Rubble 提出 利用 矩 特 征 
来 估计 提取 二 值 特征 时 主 方向 ， 以 提高 特征 的 鲁 棒 性 。 本 文 将 
中 心 矩 的 思想 应 用 在 CNN 的 池 化 中 ， 同 时 ， 采 用 一 阶 窍 阵 以 
减少 CNN 模型 的 复杂 性 。 
灰 度 和 矩阵 如 下 所 示 : 
1 (4) 
其 中 : 7(x,y) 代表 图 像 坐标 为 (x, y) 的 灰 度 值 ， 并 且 p,q 的 值 均 
为 1。 
中 心 矩 阵 如 下 所 示 : 
-| 至 甸 | G) 
moo Mioo 
由 以 上 两 个 等 式 可 以 得 到 池 化 域 的 中 心 矩 c(x, >) ， 通 常 ， 


c 是 一 个 浮 点 值 ， 


不 指向 某 个 特定 的 离散 值 。 如 图 1 所 


已 
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示 ，(Q@1,Q@,,Q@1,Q») 表示 c 的 上 下 边界 的 定点 ， 它 们 的 位 置 


hinaXiy 命 作 期 刊 ， 
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X= eR 表示 训练 样本 矩阵。 


是 固定 的 ， 可 以 把 它们 叫做 c 的 四 邻 域 。 本 文 利 用 插值 法 计算 


其 响应 值 。 
了 

: Qn : R; : Q2 

2 人 人 是 
: ip : 

?| ee | i 
| Q | RI | 2> 

六 全 人 全 一 

) : : 
XI x x 


Xx = (Int)x, 


图 1 和 矩 池 化 选择 方法 


y= nt)y 


和 三 为 + = y+1l 


QO = (1,)) (6) 

Q, = (%,, 1) 

Q; =(%,y,) 

Q, = (%,y,) 
常用 的 插值 法 有 两 种 ， 最 近邻 插值 法 差 值 速度 快 ， 但 该 方 
法 在 使 用 过 程 中 易 造 成 棋盘 格 效应 ， 双 线性 插值 法 即 分别 在 横 
纵 坐标 轴 上 进行 线性 差 值 ， 以 权 值 的 方式 衡量 距离 待 插入 点 的 
远近 ， 该 算法 有 可 能 会 使 轮廓 信息 变 得 模糊 ， 且 计算 量 也 较 


大 。 


本 文 根 据 概 率 p,,p, ， 在 横 纵 坐标 轴 上 随机 的 选择 x,y ， 


距离 中 心 矩 越 近 时 ， 被 选中 的 概率 就 越 大 ， 如 式 (7)(8) 所 示 ， 
再 根据 x,y 的 值 ， 从 四 邻 域 中 选择 池 化 区 域 的 响应 值 。 随 机 选 


择 可 以 使 结果 避免 出 现 过 抑 合 的 效果 ， 且 计算 复杂 度 也 较 低 。 


p= (Oo x) (7) 
P =(y,—)) 
p: <p 
X= 
X p> DI (8) 
| p, Pp 
y» DP > PD 


2.3 无 监督 的 训练 


在 CNN 的 实际 应 用 中 ， 


个 难点 是 如 何 获 取 大 量 的 有 标 


签 训练 数据 ， 而 数据 训练 的 无 监督 化 正好 可 以 解决 此 问题 。 我 


j 稀 疏 滤波 ( sparse filtering) 算 法 ， 即 构建 特征 分 布 甜 
化 的 方法 对 样本 特征 实行 处 理 ， 就 能 够 得 


本 分 布 、 激 活 时 间 都 有 具有 稀 琉 
E 阵 的 级 联 以 形成 无 监督 学 习 模 


们 可 以 利 / 

阵 求 解 ， 并 利用 归 

到 样本 分 布 矩 阵 ， 该 矩阵 的 样 
性 。 此 外 ， 还 能 实现 样本 分 布 和 


令 -srxX 为 构建 的 


特征 分 布 和 矩阵， 其 中 


的 特征 分 布 矩 阵 ， 它 的 每 一 行 都 表示 一 种 特征 ， 每 一 列 代表 一 
个 投影 后 的 训练 样本 ， 8 表示 投影 矩阵 。 稀 玻 滤波 算法 的 目的 
即 求 出 8 的 最 优 解 ， 使 严 满 足 提 及 的 3 种 特性 。 

假设 feR”™ 为 的 第 i 行 ， feR™ 为 FF 的 第 j 


列 ， 对 太 的 行 和 列 实行 二 范 数 归 一 化 : 
fas = fa»/ [fi 全 
fy = fool om 
对 进行 稀疏 优化 求解 ， 就 能 够 得 到 投影 矩阵 8 : 
. A ” n 人 n i 
min | =min Df => (11) 
a 1 | 1 jl f 
| | 
2 中 
将 样本 分 布 矩 阵 进行 级 联 ， 并 将 8 看 作 卷 积 核 ， 就 能 得 到 
无 监督 学 习 模型 ， 这 种 结构 模型 在 训练 的 过 程 中 使 用 贪 禁 算法 
逐 层 求解 ， 只 有 在 当前 层 的 优化 结束 后 ， 才 进行 下 一 层次 的 优 


化 求解 。 
2.4 假 近 令 

假 近 临 ENN) 方 法 是 一 种 将 时 间 相 关 数据 展开 为 多 维 空间 
的 方法 ， 也 称 为 相 空 间 ， 能 够 简化 建 模 和 预测 等 任务 。 它 迭代 
也 增加 相 空 间 的 维度 ， 在 每 个 步骤 测量 邻 域 关系 变化 。FNN 
首先 根据 欧 几 里 德 距离 D2(r) ， 将 原始 数据 集 重建 为 六 维 ( 通 
常 为 m=2) 和 固定 时 间 延 迟 g (通常 为 g =1) 的 空间 ， 其 中 状态 
X,(m,qd) 的 第 7 个 最 近邻 居 为 x'(m,d) 。 在 增加 一 个 新 的 维度 
之 后 ，FNN 根据 等 式 (12) 计 算 最 近 状 态 的 距离 变化 。 如 果 
V, > rt ， 则 状态 被 视 为 虚假 邻居 ，yt 是 用 户 定义 的 阔 值 。 


Di ) -DGi,r) |x(m,d)—x(m,d)| 
人 D2 (i,r) D, (i,7) 


当 数 据 包含 噪声 或 样本 不 够 大 时 ， 此 准则 会 计算 错误 的 估 
计 值 。 此 时 ， 可 以 根据 式 (13) 避 免 该 现象 的 发 生 ， 其 中 D2 


型 


(12) 


为 对 应 于 邻居 之 间 的 距离 ，D, (i,n) 表示 给 定时 间 延 迟 r 的 邻 
D? 是 每 个 点 和 所 有 其 他 点 之 间 的 平均 距离， 


居 之 间 的 距离 ， 


at 是 用 户 定义 的 阐 值 。 
DF Dr (13) 
Di 


最 后 ，FNN 计算 整个 数据 集 的 假 邻居 的 分 数 以 提供 截止 
点 ， 从 而 定义 蒂 入 维 数 m 。 
2.5 自 适应 假 近邻 方法 

CNN 在 某 些 图 像 7 的 
VS] Ey A 


i,j i—A ,jh ? Sr 


局 部 区 域 中 使 用 的 向 量 表示 
是 在 考虑 两 个 嵌入 维度 : 沿 


1 ] 
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录用 稿 


行 (jy ) 的 嵌入 


维 数 和 在 列 ( N ) 上 应 用 


嵌入 维度 之 后 获 代 


们 一 起 定义 矢量 六) 。 


掩 模 大 小 ， 


本 文 调整 


对 于 j=1,...,g 


工 = 人 二， 


估计 卷 积 掩 模 的 理想 


的 数目 (nn ) 作 为 输 


5b} ， 对 应 的 租 入 


i 入 ， 本 文 设置 pn = 1 。 


因此 ， 为 了 正确 估计 给 定 CNN 
了 假 近邻 (FNN) 方 法 。 
和 j= 向 量 立 ,组 成 了 集 
度 为 Rwxx 。 本 文 使 用 FNN 来 
维度 ， 如 算法 1 中 所 述 ， 其 需要 最 近邻 
参数 ui 设置 一 个 阔 


nes ps 


世 


mt 


来 表征 两 个 
复发 的 偏 移 量 。 
中 考虑 的 图 像 数据 集 

作为 输出 ， 算 法 1 
在 动态 系统 的 ' 


使 


个 向 量 是 否 ， 


5 假 邻居 。 参 数 = 定义 了 本 文 预期 会 发 生 


中 的 向 量 


本 文 其 


青 况 下 ， 
与 相 空 间 中 形成 的 吸引 


望 输入 数据 的 附近 区 域 保持 与 本 文 实验 
以 的 特征 ， 因 此 设置 z=1。 

提供 输入 空间 工 的 假 最 近邻 的 平均 值 ， 
与 该 组 的 递归 估计 相同 。 通 过 维持 邻 域 ， 
子 的 一 组 状态 的 行为 相 


相 


同 ,这 意味 着 习 


不 良 
的 


区 式 的 嵌入 会 导 


嵌入 时 ,虚假 的 最 近邻 
算法 1 相 空 间 重 


EE 建 的 空间 需要 一 组 更 简单 的 函 


数 来 提供 。 因 此， 
致 算法 产生 较 大 的 输出 值 。 当 达到 足够 好 
居 测 量 应 该 在 较 低 的 值 处 并 变 得 稳定 。 
构 后 分 析 矢 量 集 了 的 假 近邻 值 


数据 。 卫 : 给 定数 据 7 的 向 量 集合 元 ， 
nn : 最 近邻 数量 
at : 邻 域 的 阀 值 半径 ; 
tT : 工 中 得 到 的 向 量 偏 置 。 
结果 :ffir : 假 邻 点 的 值 ; 
设置 counter=0; 
设置 qenom=0; 
对 于 所 有 矢量 志 ) < 工 ， 执 行 : 
找到 工 位 ，} 中 最 接近 nn 的 矢量 
对 于 每 个 六, 中 的 邻居 元 ，， 执 行 
d = Euclidean( ni,,V,) 


d=d + Euclidean(fiy.ss Vg ) /ld 


如 果 J wt 则 


Counter ++ 


结束 
结束 


denom = denom + nn 


结束 


fn = counter |/ denom 


算法 2 通过 
卷 积 掩 模 大 小 。 
maxM (最 大 行 数 )， 
于 每 个 掩 模 大 小 ， 
计算 假 最 
的 每 个 卷 积 掩 模 的 行 数 jy 和 列 数 N 相对 

算法 2 卷 积 单元 中 掩 模 大 小 的 估计 算法 


实 


过 过 代 改变 它们 的 行 数 M 和 列 N 来 评估 不 同 的 


际 上 ， 它 将 掩 模 行 的 数量 从 1 改变 为 


将 掩 模 列 从 1 改 为 maxN (最 大 列 数 )。 对 


近邻 值 的 结 


输 


入 数据 7 被 嵌入 多 维 “ 相 位 空间 ”中 ， 其 中 
井 果 存储 在 矩阵 正中 , 矩阵 的 条 目 与 评估 


本 


数据 ;输入 数据 7 
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放 抽 本 过 晤 册 拥 下 十 旺 亿 攻守 风 


有 | 


络 的 图 像 目标 分 类 算法 


maxM 和 mmaxN 分 别 为 一 


的 最 大 值 ; 


结果 : 严 ， 包 含 对 于 所 有 评 


个 假定 卷 积 掩 模 中 行 和 列 


估 的 掩 模 大 小 中 假 近邻 值 的 矩阵 。 
初始 化 具有 jnaxM 和 jnaxN 的 秆 阵 ; 


对 于 jy 二 ] 到 ymaxM ， 执 行 : 


对 于 N=1 到 maxN， 


IT =embedd(], 


F[M,N] 


执行 : 
M,N) 


= FNNAnalysis(T,nn,at,7z) 


结 


本 文 还 采 | 


] 了 相同 的 方法 来 太 


的 数量 。 将 7 的 一 个 区 域 访 ， 


与 所 有 


;映射 到 一 维 空间 ， 其 中 


将 去 


I >M xN 时 ， 本 文 增加 了 底层 空间 的 维 
简化 训练 阶段 的 方程 。 
作 输 入 空间 中 的 不 同 向 量 映射 到 输出 


以 进行 逆转 换 ， 
数 减少 ， 本 文 最 终 ; 


本 文 可 
于 维 


究 每 个 CNN 层 的 卷 积 单元 
时 位 掩 模 进 行 卷 积 四， 相当 于 


了 是 卷 积 单元 的 数量 。 


三 
| o 


4 
a 


很 明显 ， 当 当 


T=MxN 时 ， 
T<MxN 时 ， 


空间 中 的 同一 个 向 量 中 。 因 此 , 本文 应 该 寻找 7< jy xN 的 空间 。 


本 文 使 用 算法 3 来 评 


屋 : 


单元 1 的 最 大 数量 。 作 为 输出 ， 
的 1 到 1 个 单位 的 FNN 测量 结果 。 预计 在 添加 卷 积 
在 这 种 情 况 下 ， 


邻居 的 数量 会 减少 ， 
单位 数量 作为 向 量 上 Uy 的 指数 ， 
量 ， 以 尝试 定义 最 适当 


= 


况 


十 卷 积 单元 在 该 线性 变换 中 增加 时 的 
影响 。 该 新 算法 接收 输入 数据 7， 掩 模 大 小 ( 行 数 jy 和 列 数 Ny )， 


最 近邻 居 数 nn ， 阔 值 at ， 偏 移 量 z ， 以 及 最 后 要 考虑 的 卷 积 


该 算法 提供 在 感 兴趣 


层 上 存在 


单元 时 虚假 
本 文 估计 每 个 CNN 
其 首先 达到 零 (或 接近 ) 用 


的 维度 。 


算法 3 估计 给 定 CNN 层 


中 卷 积 单 


元 数量 的 算法 


于 FENN 


MM 和 N : 分 别 为 每 个 


1 卷 内 掩 模 电 行 和 列 ; 


nn : 最 近邻 数量 ; 


at : 


T : 工 中 得 腊 


或 的 闹 值 半径 ; 
的 向 量 偏 置 ; 


1 : 考虑 使 用 的 单元 最 大 值 。 


结果 : U: 
初始 化 具有 /7 的 矩阵 T7 ; 
初始 化 矩阵 @ 为 空 ; 


包含 每 


I =embedd(1,M.,N) 
执行 : 


对 于 大 =1 到 1 ， 


个 添加 到 卷 积 


生成 一 个 Mx N 的 随机 卷 积 


将 @7 作为 箱 阵 @ 的 下 


一 行 


将 矢量 了 上 的 卷 积 应 用 


S=(977) 
U[K] 
结束 


= FNNAnalysis( 


S,nn,t,T) 


层 时 假 近邻 值 的 向 量 。 


于 窗 体 中 以 获得 新 的 空间 9$ ， 且 
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站 3.2 设置 
Se 适应 FNN 的 参数 设置 如 下 ; 最 近邻 居 的 数量 ，_] ， 邻 
3.1 数据 集 居 的 半径 阔 值 ， -10 ; 对 于 算法 1L3， 算 法 1 中 包含 的 向 量 包 


本 文 使 用 三 个 数据 集 进行 实验 ， 所 有 数据 集 被 分 成 训练 集 篇 移 量 ==1; 算法 2 的 最 大 行 数 和 最 大 列 数 被 设置 为 图 像 的 大 
和 测试 集 , 训练 集 通 过 本 文 的 FNN 方法 估计 参数 , 其 不 需要 标 小 除 以 2, 因此 jy 入 根据 分 析 中 的 数据 集 的 最 佳 掩 模 大 小 来 
签 信息 ， 图 2 为 数据 集 的 图 像样 本 。 设置 ， 算 法 3 的 最 大 卷 积 单元 数 1=50 。 
a) CMU 人 脸 图 像 数据 集 0。 这 个 图 像 数 据 集 包 含 1872 SGD 方法 用 于 训练 所 有 基于 Caffe 的 CNN。 本 文 使 用 卷 积 、 
个 灰 度 的 人 脸 图 像 ， 包 含 四 个 变 体 ， 姿势 ( 左 、 右 、 上 和 下 )、 ReLU 和 max-pooling 组 成 连续 图 层 .Max-pooling 应 用 于 每 3x3 
表情 (快乐 、 悲 伤 、 愤 既 和 中 性 )、 眼 睛 (不 戴 太 阳 镜 ) 和 尺 二 像素 的 ReLU 层 后 ， 步 长 为 2x2。 训 练 阶段 所 用 参数 设置 为 ; 
(128x120、64x60 和 32x30)。 使 用 构成 640 个 例子 的 最 小 图 像 学 习 率 为 0.001( 固 定 -无 减少 )， 动 量 为 0.9， 训 练 批量 为 100 个 


浪 
[uy 


和 两 个 不 同类 别 进行 实验 ， 将 数据 集 分 成 训练 组 和 测试 组 ， 前 ” 样本 。 求 解 器 参数 是 凭 经 验 选 择 的 ， 可 以 评估 卷 积 掩 模 尺 寸 和 
者 由 70% 的 样本 组 成 ， 后 者 由 剩 下 的 30% 组 成 。 每 层 单位 数量 的 影响 。 

b) MNIST 数据 集 03。 这 是 一 个 手写 数字 二 进 制 图 像 的 数 ”3.3 参数 评估 
据 集 ， 由 60000 个 训练 样本 和 10000 个 测试 样本 组 成 。 本 文 对 训练 集中 的 单个 图 像 执行 算法 2， 以 提供 FNN 测量 


c) COIL-10009。 哥伦比亚 大 学 图 像 库 COIL-100 是 一 个 包 ”的 矩阵 ， 其 改变 掩 模 大 小 的 行 数 和 列 数 。 本 文 在 计算 FNN 
含 100 个 类 的 数据 集 ， 拥 有 7200 个 RGB 图 像 (每 个 类 有 355 ”度量 值 时 计算 这 些 和 矩阵 的 平均 值 ， 然 后 使 用 此 平均 矩阵 的 范 数 
个 图 像 ， 并 具有 姿态 变化 )。 本 文 将 图 像 调 整 为 32x32 像素 , 以 ”来 制定 停止 标准 。 如 果 当 前 和 前 一 个 标准 之 间 的 差异 小 于 用 户 
便 更 快 地 进行 实验 ， 其 中 ，70%% 的 样本 用 于 训练 ， 其 余 30% 用 ” 定义 的 阐 值 (此 处 设置 为 0.001)， 则 停止 执行 。 最 后 ， 从 平均 矩 
于 测试 。 阵 严 计算 直方 图 以 选择 最 佳 的 卷 积 掩 模 尺 寸 。 因 此 ， 对 于 抢 阵 
F 中 的 每 一 行 , 计数 呈现 第 一 个 零 或 最 近邻 居 分 数 的 最 小 值 的 
列 。 接 下 来 ， 沿 着 列 进行 同样 的 处 理 ， 即 对 于 每 列 ， 计 算 具 有 
零 或 最 小 值 的 行 的 邻居 分 数 。 直 方 图 由 一 个 矩阵 表示 ， 该 矩阵 
指示 哪 一 行 和 哪 一 列 最 适合 ， 其 最 大 值 为 2， 最 小 值 为 零 。 

考虑 每 个 数据 集 的 最 佳 掩 模 大 小 。 本 文 在 给 定 的 训练 集中 
的 每 个 输入 图 像 上 运行 算法 3, 以 提供 FNN 测量 的 向 量 y ， 同 
时 改变 单 层 的 卷 积 单元 数 。 因 此 ,单元 数 由 含有 第 一 个 零 (或 尽 
可 能 最 低 的 值 ) 的 向 量 六 的 索引 给 出 ， 由 平均 FNN 测量 产生 。 
这 个 零 意 味 着 线性 变换 的 目标 空间 足以 表示 输入 空间 。 
本 文 利用 MNIST 数据 集 来 计算 本 文 方法 在 估计 掩 模 尺 寸 
和 每 层 单元 数量 时 的 结果 。 在 掩 模 尺寸 估计 的 情况 下 ， 将 来 E 
训练 集 的 随机 图 像 当 作 输 入 , 直到 达到 停止 标准 (当前 和 前 面 的 
均 和 矩阵 范 数 之 间 的 差 小 于 冰 值 时 )。 图 3 给 出 了 训练 图 像 及 其 
应 的 FNN 和 矩阵， 其 中 ，(a) 表 示 属 于 训练 集 的 样本 ，(b) 表 示 
应 于 (a) 中 的 样本 产生 的 假 最 近邻 分 数 的 矩阵 ，x 轴 表 示 按 列 
示 的 掩 模 大 小 ，y 轴 表 示 掩 模 行 数 。 使 用 FNN 矩阵 来 计算 基 
素 的 平均 矩阵 。 最 后 , 在 这 个 最 终 和 矩阵 上 制作 一 个 直方 图 ， 
返回 最 佳 的 卷 积 掩 模 大 小 。 


T 


出 
Hl 


沁 


COIL-100 图 像 集 


图 2 数据 集 的 图 像样 本 (a) (b) 
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对 用 入 黄 珍 ， 等 : 利用 自 适应 假 近 邻 方法 优化 卷 积 神经 网络 的 图 像 目标 分 类 和 外; 


图 3 利用 FNN 方法 在 输入 图 像 中 获得 的 样本 结果 考虑 到 单 卷 积 层 和 最 大 汇集 层 ， 对 上 述 三 个 数据 集 都 进行 

1 给 出 了 用 于 估计 单元 数量 的 单元 平均 矢量 ， 该 结果 也 ”了 此 过 程 。 接 下 来 ,利用 Caffe 深度 学 习 框 架 0 中 的 SGD 进行 
是 从 MNIST 数据 集 获 得 的 ， 考 虑 单个 卷 积 层 和 掩 模 大 小 为 。” 数据 训练 ， 并 且 在 最 大 共享 层 之 后 产生 的 输出 图 像 被 用 于 研究 
8x10， 单 位 数量 选择 的 值 是 这 样 一 个 向 量 中 第 一 个 零 的 索引 。 第 二 层 卷 积 。 再 次 执行 该 过 程 以 添加 第 三 层 卷 积 。 最 终 的 网 络 


表 1 MNIST 数据 集 上 单 层 CNN 的 单元 数量 估计 结 个 卷 积 层 和 最 大 池 层 组 成 。 

序号 FNN 比例 表 2 列 出 dh 其 各 自 单元 数量 的 
1 1 误差 率 (ER)， 此 深度 学 习 框 架 是 通过 10000 次 迭代 执行 的 ， 以 
2 0.145369373 选择 最 佳 的 卷 积 掩 模 大 小 。 
3 0.019133798 3.4 ”使 用 最 佳 的 掩 模 尺 寸 和 卷 积 单位 数量 
4 0.008968954 在 研究 了 最 佳 的 掩 模 尺 寸 和 卷 积 单元 的 数量 后 ， 采 用 最 佳 
5 0.005095382 参数 的 实验 对 本 文 CNN 架构 进行 50000 次 从 代 训练 。 表 3 给 
6 0.002178035 出 了 所 有 数据 集 的 错误 率 、 相 应 的 掩 模 大 小 和 使 用 本 文 的 FNN 
7 0.000692411 方法 选择 的 卷 积 单元 的 数量 。 由 表 3 可 知 ,本 文 的 FNN 方法 即 
8 0.000716954 使 使 用 一 小 部 分 实例 来 评估 掩 模 大 小 和 单位 数量 也 能 提供 良好 
9 0 的 结果 。 
10 0 
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表 2 三 个 数据 集 的 实验 结果 


数据 集 1 卷 积 2 卷 积 层 3 卷 积 层 
掩 模 单元 ER 掩 模 单元 ER 掩 模 单元 ER 
8x1 区 0.96% 9x1 12 1.16% 4x2 18 3.09% 
CMU 5x2 13 0.56% Tx 10 1.62% 6x4 2.01% 
4x4 10 1.09% 5x3 14 1.15% 2x6 8 2.55% 
12x9 了 2.27% 8x4 8 2.53% 6x3 5 2.95% 
MNIST 8x10 9 1.85% 7x5 7 2.25% 5x4 5 3.02% 
11x11 8 1.92% 6x6 6 1.88% 2x5 6 2.86% 
15x2 13 0.66% 6x3 13 0.40% 3x3 8 0.82% 
COIL-100 13x3 15 0.58% 5x7 17 0.51% 2x4 11 0.64% 
1%%5 14 0.51% 10x1 32 0.36% 5x1 24 0.59% 
表 3 使 用 本 文 FNN 方法 提供 的 掩 模 大 小 和 卷 积 单元 数 时 获得 的 实验 结果 
数据 集 1 卷 积 层 2 卷 积 层 3 卷 积 层 
掩 模 单元 ER 掩 模 单元 ER 掩 模 单元 ER 
CMU 5x2 13 0.56% 9x1 让 1.16% 7x2 10 1.62% 
MNIST 8x10 9 1.85% 6x6 6 1.88% 5x4 5 3.02% 
COIL-100 12x3 14 0.51% 10x1 32 0.36% 3x3 8 0.82% 


对 于 CMU 人 脸 图 像 数 据 集 ， 本 文 针 对 图 像 中 的 人 进行 分 。 下 一 个 子 采样 层 中 有 40 个 单位 ; 多 层 感知 器 (MLP) 隐 藏 层 中 有 


类 ,而 本 文 的 方法 在 单个 卷 积 层 中 取得 的 最 低 误差 率 为 0.56%。 150 个 单元 ，MLP 的 另 一 个 隐藏 层 中 有 10 个 单元 。 

本 文 的 方法 有 助 于 找到 最 佳 线性 变换 ， 以 便 根 据 共享 域 中 向 量 基于 这 种 比较 可 以 得 出 结论 ， 本 文 的 方法 支持 设计 更 简单 

的 邻 域 提供 相关 特征 。 使 用 这 个 数据 集 的 结果 表明 本 文 的 策略 。 的 架构 ， 在 适当 的 参数 下 也 可 以 产生 良好 的 结果 。 此 外 ， 此 评 

对 本 文 所 要 求 的 CNN 体系 结构 进行 配置 很 有 用 。 估 强 化 了 在 尝试 表示 输入 数据 时 选择 足够 的 掩 模 大 小 和 每 个 
在 文献 [11] 的 方案 中 ，MNIST 数据 集 获 得 的 最 低 (最 佳 ) 错 。 ”CNN 层 的 卷 积 单元 数量 的 相关 性 。 另外 ,增加 新 的 卷 积 层 不 会 


误 率 为 0.23%。 考 虑 到 单个 卷 积 层 ， 本 文 的 方法 实现 了 错误 率 。” ”如 预期 那样 影响 结果 。 

为 1.85%， 其 中 两 个 卷 积 层 为 1.88%、 三 个 卷 积 层 为 3.02%， 文献 [18] 中 使 用 100 个 深度 卷 积 小 波 网 络 (DCWN)， 在 
这 是 较 差 的 ， 因 为 本 文 的 实验 使 用 更 简单 的 CNN 架构 来 执行 ， COIL-100 数据 集 上 获得 的 错误 率 等 于 0.8%， 而 本 文 的 方法 在 
而 文献 [11] 中 使 用 了 一 个 非常 复杂 的 结构 ， 它 包含 35 个 ”CNN 中 使 用 两 个 卷 积 层 获 得 的 错误 率 为 0.36%。 本 文 结果 较 优 
CNN(MCDNN)， 并 具有 以 下 层 序列 : 第 一 个 卷 积 层 中 有 20 个 ” 是 因为 对 此 类 数据 集 使 用 均衡 滤波 器 进行 了 处 理 。 
单元 ; 二 次 抽样 层 中 有 20 个 单位 ; 第 二 卷 积 层 中 有 40 个 单元 ; 上 述 分 析 可 以 得 出 结论 : 本 文 的 FNN 方法 有 助 于 设计 更 


录用 稿 


简单 的 CNN 体系 结构 来 处 理 不 同 的 分 类 任务 ， 同 时 产生 较 好 
的 分 类 结 果 。 

表 4 给 出 了 本 文 的 方法 与 其 他 方法 的 错误 率 比较 ， 采 用 了 
本 文中 使 用 的 三 个 数据 集 。 表 中 展示 的 是 实验 得 到 的 最 好 结果 ， 
其 中 具有 单个 卷 积 层 的 体系 结构 由 1C 表示 ， 两 个 卷 积 层 由 2C 


四 


表示 ， 三 个 卷 积 层 由 3C 表示 。 

表 4 本文 方 法 与 其 他 研究 的 错误 率 比较 
数据 集 方案 错误 率 
CMU 本 文 方案 (1C) 0.56% 
文献 [19] 中 方案 (遗传 序列 ) 7.36% 
MNIST 文献 [11] 中 方案 MCDNN) 0.28% 
文献 [12] 中 方案 (Embed CNN) 1.25% 
本 文 方案 (3C) 3.02% 
COIL-100 本 文 方案 (2C) 0.36% 
文献 [18] 中 方案 (DCWN) 0.81% 
文献 [12] 中 方案 (Embed CNN) 7.82% 


4 ”结束 语 


本 文 提 出 了 一 种 新 方法 来 估计 卷 积 掩 模 大 小 和 为 某 个 目标 
分 类 任务 设计 简单 CNN 所 需 的 单元 数量 。 本 文 的 方法 基于 动 
态 系统 背景 下 的 假 最 近邻 (FNN) 技 术 来 估计 足够 小 的 嵌入 维 以 
执行 任务 简化 ， 将 相关 数据 转化 到 多 维 空间 ， 利 用 稀疏 滤波 算 
见 训练 过 程 的 无 监督 化 。 本 文 不 考虑 时 间 依 赖 性 ， 注 重 的 
是 数据 (图 像 ) 重 现 。 本 文 的 FNN 方法 模拟 了 相位 空间 中 掩 模 尺 
寸 的 重 现 结果 。 本 文 还 展示 了 CNN 卷 积 层 对 输入 数据 应 用 线 
性 变换 以 产生 给 定 的 共享 域 ， 这 种 共享 域 中 的 向 量 邻 域 是 由 本 
文 的 策略 评估 的 。 本 文 的 FNN 方 法 也 被 用 来 估计 构成 简单 CNN 
的 卷 积 单元 的 数量 。 实验 证 实 , 本 文 的 FNN 方法 在 设计 更 简单 
的 CNN 架构 时 支持 适当 的 参数 化 ， 为 分 类 任务 找到 好 的 参数 ， 
且 它 需要 较 少 的 层次 来 设计 CNN。 
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